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摘要 


长 期 以 来 ， 空 间 场 景 分 类 一 直 是 地 理 信息 科学 领域 的 一 个 突出 研究 领域 。 在 过 去 传统 方法 主 
要 依赖 于 基于 图 像 特征 的 检索 方法 。 然 而 ， 随 着 深度 学 习 和 人 工 智能 领域 的 迅速 发 展 ， 对 复杂 空 
间 场 景 的 高 效 分 类 日 益 重 要 。 本 文 提 出 了 一 种 新 疾 的 框架 ,该 框架 将 目标 检测 与 知识 图 谱 相 结合 ， 
要 动 完成 空间 场景 分 类 。 首 先 使 用 目标 检测 技术 对 输入 图 像 进行 处 理 以 识别 场景 中 的 关键 实体 。 
随后 ， 利 用 包含 各 种 空间 场景 、 实 体 及 其 关系 的 知识 图 谱 来 识别 空间 场景 分 类 。 为 了 验证 该 框架 
的 有 效 性 ， 我 们 使 用 八 个 空间 场景 类 别 进行 了 实验 。 实 验 结果 表明 ， 得 到 的 分 类 结果 与 真实 空间 
类 型 较为 一 致 ， 验 证 了 框架 的 有 效 性 ， 展 现 了 空间 场景 分 类 的 潜在 应 用 价值 。 

XE: 空间 场景 分 类 ， 目 标 检 测 Amiens 


Abstract 


Spatial scene classification has long been a prominent area of research in the field of ge- 
ographic information science. In the past, traditional approaches heavily relied on retrieval 
methods based on image features. However, given the rapid advancements in deep learning 
and artificial intelligence, the efficient classification of complex spatial scenes has become in- 
creasingly crucial. This paper presents a novel framework that combines object detection with 
knowledge graph to automate the process of spatial scene classification. Initially, the input images 
undergo processing using object detection techniques to identify key entities within the scenes. 
Subsequently, a knowledge graph, which encompasses various spatial scenes, entities, and their 
relationships, is utilized to identity spatial scene catogories. To validate the effectiveness of the 
framework, experiments were conducted using eight spatial scene categories as an example. The 
results demonstrated a high level of consistency with actual spatial types, thus affirming the 
efficacy of the framework and highlighting its potential application value in the domain of spatial 
scene classification. 
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1 3 引言 


近年 来 ， 深 度 学 习 在 图 像 处 理 和 识别 方面 表现 出 了 非 几 的 能 力 , 目标 检测 是 计算 机 视觉 领域 
的 一 个 焦点 , 取得 了 显著 进展 。 这 项 技术 可 以 高 效 地 处 理 复杂 场景 、 进行 多 目标 检测 。 在 现 有 的 常 
见 的 目标 检测 任务 中 , 例如 行人 检测 、 交 通信 号 灯 检 测 、 通 感 目标 检测 等 [1 ， 大 多 是 针对 前 景 目 
标 进 行 检测 ， 而 图 片 中 的 背景 元 素 常 常 能 够 提供 重要 信息 ， 帮 助 我 们 理解 图 像 所 描绘 的 场景 ， 因 
此 ， 检 测 图 像 中 的 背景 元 素 并 判断 它们 所 属 的 空间 场景 成 为 了 一 个 重要 挑战 。 


到 像 背 景 元 素 检测 可 以 帮助 分 析 人 员 识 别 出 背 景 中 的 关键 物体 、 位 置 和 特征 ， 从 而 构建 一 个 
更 准确 的 空间 场景 再 现 。 例 如 ， 在 犯罪 调查 中 ， 图 像 背 景 元 素 检 测 可 以 帮助 执法 机 构 识 别 犯 罪 嫌 
疑 人 的 所 处 位 置 和 行踪 ， 通 过 识别 出 关键 的 背景 元 素 如 建筑 物 、 道 路 和 地 标 ， 帮 助 警 方 锁定 嫌疑 
人 位 置 。 这 一 技术 不 仅 有 助 于 法 律 执 法 机 构 更 好 地 理解 犯罪 现场 的 情况 ， 还 能 提供 重要 的 证 据 支 
持 ， 有 助 于 犯罪 调查 和 司法 程序 的 顺利 进行 ， 进 而 有 望 提高 犯罪 调查 的 效率 和 准确 性 ， 为 社会 安 
全 和 正义 做 出 更 大 的 贡献 。 

基于 以 上 的 研究 背景 和 和 需求， 本文 提出 一 个 识别 和 判断 空间 场景 类 别 的 框架 。 基 于 深度 学 习 
的 目标 检测 模型 可 以 帮助 我 们 实现 图 像 背景 元 素 的 识别 ， 此 外 ， 构 建 了 空间 场景 知识 图 谱 ， 将 空 
间 场 景 与 场景 对 应 的 关键 物体 相对 应 。 基 于 识别 到 的 实体 在 知识 图 谱 中 进行 搜索 ， 最 终 获 得 该 轿 
像 的 空间 场景 类 别 ， 实 现 对 空间 场景 的 识别 与 分 类 。 


2 相关 工作 
2.1 空间 场景 识别 与 分 类 
空间 场景 的 识别 和 分 类 可 以 分 为 基于 特征 的 图 像 检索 方法 和 基于 深度 学 习 的 图 像 检索 方法 


[2]. 
传统 的 基于 图 像 特征 的 检索 方法 是 一 种 词 袋 模型 (Bag-of- Visual-Words, BoVW)， 首 先 使 用 
局 部 特征 描述 符 ， 例 如 SIFT[3] 来 进行 局 部 特征 表述 ， 再 计算 图 像 特征 与 视觉 词典 中 每 个 视觉 单 
词 的 距离 ， 生 成 视觉 单词 直方 图 ， 进 而 实现 图 像 检 索 并 实现 场景 识别 。 

尽管 传统 的 特征 描述 方法 能 够 满足 场景 识别 需求 ， 但 深度 学 习 的 出 现 ， 给 场景 分 类 与 识别 以 
及 整个 计算 机 视觉 领域 之 来 了 突破 性 的 性 能 提升 。 以 AlexNet[4], VGG[5] 和 ResNet[6] 为 代表 的 
卷 积 神经 网 络 为 图 像 分 类 领域 带 来 巨大 变 草 ，ImageNet[7]，COCO[8] 和 Places[9] 等 大 规模 图 像 
数据 集 的 可 用 性 进一步 丰富 了 这 一 领域 。 场 景 识别 更 多 关注 于 空间 场景 中 的 地 理 特征 ， 借 助 卷 积 
神经 网 络 进行 特征 提取 将 助力 这 一 研究 。CNN 能够 自动 从 图 像 中 学 习 和 捕获 不 同 层次 的 特征 , 包 
括 边 缘 、 纹 理 、 形 状 和 高 级 语义 特征 ， 这 对 于 空间 场景 识别 至 关 重要 。 它 能 够 处 理 不 同 斥 度 的 答 
入 图 像 ， 能 够 自 适 应 地 捕 提 大 尺度 的 全 局 特征 和 小 尺度 的 局 部 特征 ， 从 而 更 好 地 理解 复杂 的 场景 。 
此 外 ， 通 过 数据 增强 技术 可 以 扩展 训练 数据 ， 提 高 模型 的 泛 化 能 力 。 这 对 于 处 理 不 同时 间 、 天 和 气 
和 光照 条 件 下 的 场景 非常 重要 。 


2.2 日 标 检测 


由 于 空间 场景 包含 前 景 和 背景 的 复杂 性 特点 ， 想 通过 提取 背景 实现 对 空间 场景 的 分 类 具有 一 
定 挑战 ， 因 此 ， 对 场景 图 像 先 采 用 目标 检测 的 方法 提取 场景 中 的 实体 目标 ， 在 根据 提取 到 的 实体 
对 空间 场景 进行 分 类 ， 可 以 获得 更 好 的 效果 。 目 标 检 测 领 域 的 发 展 主要 分 为 两 个 主要 时 期 : 传统 
目标 检测 算法 时 斯 和 基于 深度 学 习 的 目标 检测 算法 时 期 [10]。 

传统 的 目标 检测 方法 主要 有 三 个 步骤 : 选择 候选 目标 区 域 、 提 取 特 征 和 利用 分 类 器 分 类 [11]。 
传统 目标 检测 算法 的 代表 有 P. Viola 和 M. Jones 等 学 者 在 2001 年 提出 的 VJ 检测 器 [12]. N. 
Dalal 和 B. Triggs 在 2005 年 提出 的 方向 梯度 直方 图 检测 器 [13]. P. Felzenszwalb 在 2010 年 提 
出 的 可 变性 组 件 模 型 (Deformable Part-based Model, DPM)[14] 等 。 

由 于 卷 积 神经 网 络 (Convolutional Neural Networks, CNN) 提取 特征 相 较 人 工 提取 更 加 丰 
富 全 面 , 因而 基于 深度 学 习 的 目标 检测 快速 发 展 起 来 。 通常 情况 下 , 以 检测 器 设计 结构 不 同 , 基于 


深度 学 习 的 目标 检测 又 分 为 了 “两 阶段 检测 ”和 “一 阶段 检测 ”两 种 类 型 。2014 年 , R. Girshick 等 
学 者 提出 了 R-CNN, 开创 了 “两 阶段 检测 ”的 先河 。“ 两 阶段 检测 ”采用 “候选 框 + 预测 ”的 模式 ， 
具有 较 好 的 检测 精度 。 在 之 后 的 几 年 里 , 学 者 们 相继 提出 了 Fast R-CNN[15], Faster RZONN[16]. 
Mask R-CNN[17]、 特 征 金字 塔 网 络 (Feature Pyramid Networks, FPN) [18] 等 。 针 对 两 阶段 目 
标 检 测算 法 的 低 效 问题 ， 在 2016 4E, R. Joseph 等 学 者 提出 YOLO (You Only Look Once) f 
型 19]， 这 是 基于 深度 学 习 的 首 个 一 阶段 目标 检测 器 。YOLO 系列 模型 仅 设计 了 一 个 卷 积 神经 网 
络 ， 输 入 整 张 图 像 ， 然 后 把 图 像 分 为 多 个 区 域 ， 对 每 个 区 域 分 别 预测 出 边界 框 和 类 别 置 信和 度 。 虽 
然 在 准确 度 上 稍 逊 色 于 “ 双 阶 段 模型 ”但 胜 在 速度 较 快 , 更 加 轻 量 级 , 同样 具有 较 好 的 应 用 前 景 。 
YOLO 系列 模型 一 直 在 被 改进 和 优化 [20, 21, 22], 在 2023 年 1 月 ， 最 新 的 YOLOvS 问世 ， 学 
者 们 对 其 主干 网 络 的 模块 以 及 损失 函数 进行 优化 ， 具 有 较 好 的 效果 。 此 外 ， 近 些 年 来 也 涌现 出 很 
多 单 阶段 模型 : Single Shot MultiBox Detector(SSD)[23]、RetinaNet[24] EfficientDet[25] 等 。 


2.3 ”知识 图 谱 


知识 图 谱 是 人 工 智能 和 自然 语言 处 理 领域 的 一 个 重要 概念 ， 它 是 一 种 将 知识 以 图 谱 形式 组 织 
和 表示 的 方法 。 知识 图 谱 的 概念 可 以 追溯 到 上 世纪 六 十 年 代 的 “语义 网 络 ”， 它 采用 相互 连接 的 节 
点 和 边 来 表示 知识 ， 节 点 表示 对 象 、 概 念 ， 边 表示 节点 之 间 的 关系 ， 已 经 具备 如 今 知识 图 谱 的 纵 
形 。2012 年 ， 洛 歌 提出 “知识 图 谱 ” 的 概念 ， 它 最 早 是 应 用 于 改善 搜索 引擎 的 搜索 结果 ， 其 目标 
是 让 用 户 不 必 导 航 到 其 他 网 站 并 自己 汇总 信息 ， 即 可 通过 知识 图 谱 提供 的 结构 化 信息 来 解决 他 们 
查询 的 问题 。 在 如 今 的 信息 化 时 代 ， 知 识 图 谱 不 仅 用 于 搜索 引擎 改进 ， 还 在 自然 语言 处 理 、 推 荐 
系统 、 智 能 助手 、 医 疗 保健 、 智 能 交通 等 领域 得 到 广泛 应 用 。 它 们 帮助 机 器 理解 上 下 文 、 进 行 推理 
和 提供 智能 决策 支持 ， 推 动 了 人 工 智能 领域 的 发 展 。 随 着 开放 数据 的 增加 和 开源 工具 的 发 展 ， 知 
识 图 谱 的 创建 也 变 得 更 加 容易 。 一 些 大 型 知识 图 谱 项 目 ， 如 Wikidata 和 DBpedia， 开 放 了 大 量 
结构 化 数据 ， 供 研究 人 员 和 开发 者 使 用 。 

知识 图 谱 是 一 种 用 于 组 织 和 表示 知识 的 图 形 数据 结构 ， 它 由 实体 (Entities) 和 它们 之 间 的 关 
系 (Relationships) 组 成 。 实 体 (Entities) 是 知识 图 谱 中 的 核心 元 素 ， 通 常 表示 现实 世界 中 的 事 
物 、 概 念 、 个 体 或 对 象 ， 它 可 以 是 具体 的 物体 ， 如 入 、 地 点 、 书 籍 ， 也 可 以 是 抽象 的 概念 ， 如 情 
感 、 关 系 、 事 件 等 。 属 性 (Attributes) 是 与 实体 相关 的 属性 或 特征 ， 用 于 描述 实体 的 各 种 方面 ， 
有 助 于 详细 描述 实体 ， 并 提供 了 更 多 关于 实体 的 信息 。 关 系 (Relationships) 表示 实体 之 间 的 连 
接 或 联系 ,它们 描述 了 不 同 实体 之 间 的 关联 性 。 关 系 通常 具有 名 称 和 方向 , 例如,“ 包含 ”是 一 种 
关系 ， 可 以 连接 书店 实体 和 书 实体 。 关 系 可 以 是 单 向 的 或 双向 的 ， 还 可 以 具有 属性 来 描述 关系 的 
属性 ， 如 权重 、 强 度 等 。 

知识 图 谱 的 结构 化 特性 使 其 成 为 处 理 大 规模 知识 的 有 效 工具 ， 促 进 了 语义 搜索 、 自 然 语 言 处 
理 、 智 能 推荐 和 决策 支持 等 领域 的 发 展 。 在 我 们 的 任务 上 ， 知 识 图 谱 可 以 存储 空间 场景 和 场景 中 
的 实体 之 间 的 关系 , 将 二 者 进行 匹配 和 关联 , 使 得 可 以 根据 检测 到 的 实体 判断 空间 场景 的 类 型 具 
有 一 定 的 实际 意义 。 


3 "lh E AY FRA 


为 了 实现 空间 场景 的 分 类 ， 我 们 提出 了 一 种 基于 目标 检测 和 知识 图 谱 的 综合 框架 。 该 框架 共 
分 为 两 个 部 分 : (1) 基于 目标 检测 的 空间 实体 识别 ; (2) 基于 知识 图 谱 的 空间 场景 分 类 。 框 架 如 
图 1 所 示 。 


Entities 


Object 
Detection 


Scene1 Entity1, Entity2, ...... 
| Scene om Scene2 Entity1, Entity2, ...... 
Scene3 Entity1, Entity2, ...... 


图 1: 空间 场景 分 类 方法 框架 


Figure 1: The Framework of Spatial Scene Classification 


表 1: 空间 场景 与 其 实体 的 对 应 关系 


Table 1: Correspondence between Spatial Scenes and Entities 


Scenes Entities 
office desk, desktop computer, notebook computer, filing cabinet, folding chair, printer 
kitchen frying pan, pitcher, plate rack, refrigerator 
restaurant dining table, menu, plate, hot dog, cabbage 
city check, traffic sign, traffic light, bookstore, shoe store 
coast seashore, shoal, yawl, swimsuit 
mountain alp, volcano, cliff, valley 
forest hay, cardoon 
countryside barn, boathouse, thatched roof, ox, hen, duck, goose 


3.1 空间 实体 识别 


在 我 们 的 空间 场景 分 类 框架 中 , 首要 步 又 是 使 用 目标 检测 技术 来 处 理 输入 的 图 像 或 视频 。You 
Only Look Once(YOLO) 模型 以 其 轻 量 和 易于 训练 的 特点 ,如 今 被 广泛 使 用 .对 于 这 项 任务 ,YOLO 
模型 可 以 很 好 胜任 ， 所 以 选用 此 模型 。 这 一 阶段 旨 在 从 图 像 中 识别 和 定位 出 现在 场景 中 的 不 同 物 
体 或 实体 ， 确 定 它们 的 位 置 和 类 别 。 


3.2 空间 场景 分 类 


(1) 知识 图 谱 构 建 

目前 存在 大 量 的 空间 场景 数据 集 ， 有 些 数据 集 以 室内 场景 为 主 ， 如 MIT67[26] 和 Interior- 
Net[27]， 室 外 场景 数据 集 则 更 多 地 面向 自动 驾驶 领域 , 例如 Cityscapes[28]。 此 外 ,还 有 很 多 数据 
集 同 时 包括 室内 和 室外 场景 , 例如 SUN397[29] 和 Places[9] 等 。 这 些 公共 数据 集 有 效 地 满足 了 空 
间 场 景 分 类 和 各 种 其 他 应 用 等 任务 的 要 求 。 在 上 述 公 共 数 据 集 的 指导 下 ， 在 此 阶段 中 构建 空间 场 
景 及 其 空间 实体 的 知识 图 谱 。 空 间 场景 和 空间 场景 中 的 实体 无 法 穷尽 ， 因 此 ， 只 列举 了 一 组 常见 
的 空间 场景 并 选取 其 最 关键 的 元 素 ， 将 其 对 应 匹配 。 具 体 关 系 如 表 1 所 示 。 

(2) 知识 图 谱 查 询 

利用 前 一 阶段 的 目标 检测 结果 作为 查询 条 件 ， 可 以 与 构建 好 的 知识 图 谱 进 行 交 互 。 知 识 图 谱 
包含 了 不 同 空 间 场 景 、 实 体 以 及 它们 之 间 的 关系 ， 通 过 匹配 目标 检测 结果 中 的 实体 和 知识 图 谱 中 


的 实体 ,推断 出 当前 图 像 对 应 的 空间 场景 类 别 。 例 如 , MAM SIR SEHE BL; desk, filing cabinet 
和 printer， 并 且 知识 图 谱 中 定义 了 这 些 实体 的 包含 关系 ， 那 么 我 们 可 以 确定 当前 场景 为 office. 


4 实验 
41 数据 集 


数据 集 的 数据 量 与 图 片 清晰 度 决 定 了 模型 的 拟 合 能 力 和 预测 泛 化 能 力 ， 因 此 ， 数 据 集 的 选取 
关 重 要 。ImageNet 数据 集 是 图 像 分 类 、 检 测 、 定 位 的 最 常用 数据 集 之 一 ， 其 多 样 性 和 广泛 性 使 
它 成 为 图 像 理解 和 场景 识别 研究 的 重要 资源 ， 和 提出 的 框架 的 任务 比较 适 配 。 该 数据 集中 包含 
大 量 带 有 类 别 和 位 置 标注 信息 的 图 片 ， 故 在 目标 检测 训练 阶段 ， 从 ImageNet 数据 集中 选取 和 任 
务 相 关 的 实体 进行 实验 。 选取 的 数据 包含 了 37 个 不 同类 别 的 图 像 ， 各 类 别 图像 数 量 较为 均衡 , 共 
计 22019 张 图 片 ， 包含 25630 个 目标 实体 。 


4.2 实验 设置 

YOLOv5 模型 训练 在 Ubuntu 18.04 系统 下 使 用 GPU 进行 加 速 ， 使 用 搭载 GA102 GPU 的 
GeForce RTX 3080 显卡 。 模 型 训练 的 参数 设置 : batch 大 小 为 16， 学 习 率 为 0.01， 迭 代 次 数 为 
300 代 。 

空间 场景 知识 图 谱 的 构建 基于 高 性 能 的 NoSQL 图 形 数据 库 Neo4j ， 并 实现 可 视 化 展示 。 使 
用 python 实现 和 Neo4 数据 集 的 连接 ， 并 对 数据 库 进 行 查 询 。 


4.3 实验 流程 


为 验证 提出 的 框架 的 有 效 性 ， 选 择 了 8 个 具有 代表 性 的 空间 场景 进行 了 实验 。 这 些 场景 都 具 
有 较为 标志 的 目标 实体 ， 场 景 包 括 3 个 室内 场景 : offive; restaurant 和 kitchen, 5 个 室外 场景 : 
city, forest, coast, countryside 和 mountain。 从 网 络 上 收集 了 240 张 测试 图 片 ， 它 们 属于 这 些 
不 同 场景 ， 每 一 类 别 平 均 30 张 ， 采 用 YOLOvS 模型 进行 目标 检测 ， 产 生 了 每 个 图 像 中 检测 到 的 
物体 的 位 置 坐标 和 类 别 标签 。 

根据 目标 检测 的 结果 查询 知识 图 谱 ， 建 立 检 测 到 的 实体 与 知识 图 谱 中 的 实体 之 间 的 联系 。 将 
检测 到 的 实体 依次 对 应 到 知识 图 谱 中 ， 并 对 查询 到 的 空间 场景 进行 计数 ， 如 果 存 在 最 高 数量 ， 则 
判定 为 该 场景 ， 知 计数 最 高 数量 有 多 个 ， 则 结合 检测 到 的 目标 实体 的 置信 度 共 同 判断 ， 得 到 预测 
场景 。 由 此 ， 基 于 知识 图 谱 查 询 的 结果 ， 可 以 确定 每 个 图 像 的 预测 空间 场景 类 别 。 
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混淆 矩阵 是 用 于 评估 分 类 模型 性 能 的 一 种 矩阵 形式 的 工具 ， 它 可 以 提供 更 全 面 的 性 能 评估 ， 
避免 仅仅 依赖 准确 率 等 指标 导致 误导 。 本 实验 以 混淆 矩阵 的 形式 呈现 分 类 结果 ， 如 图 2 所 示 。 

从 实验 结果 来 看 ， 对 于 所 选 的 8 个 场景 ， 大 部 分 场景 的 图 片 被 归 到 正确 的 类 别 ， 显 示 出 其 在 
不 同 场景 上 的 有 效 性 和 通用 性 ， 少 部 分 图 像 由 于 在 目标 检测 阶段 未 识别 到 目标 实体 ， 影 响 了 对 后 
面 场景 分 类 的 判断 。 部 分 场景 之 间 具 有 一 定 的 相似 性 , 比如 office 和 restaurant 都 可 能 存在 table, 
mountain 和 forest 都 可 能 存在 valley 等 等 ， 在 检测 与 分 类 任务 上 存在 小 误差 。 总 体 来 看 ， 本 文 
提出 的 框架 在 空间 场景 分 类 任务 上 表现 良好 。 具 体 实施 结果 如 表 2 所 示 。 
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Figure 2: Spatial Scene Classification Results 


6 结论 与 展望 


本 文 提出 了 一 种 基于 目标 检测 和 知识 图 谱 的 空间 场景 分 类 框架 ， 旨 在 实现 对 图 像 中 的 场景 进 
行 分 类 和 理解 ， 通 过 8 个 场景 的 测试 ， 验 证 了 框架 的 有 效 性 。 通 过 融合 计算 机 视觉 领域 的 目标 检 
测 技术 和 知识 图 谱 的 语义 表示 ， 成 功 地 将 视觉 感知 与 结构 化 知识 相 结 合 ， 为 空间 场景 分 类 任务 带 
来 了 新 的 可 能 性 。 

在 应 用 层面 ， 在 司法 和 公共 安全 领域 ， 应 用 此 框架 来 识别 犯罪 场景 具有 广阔 发 展 前 景 。 它 可 
以 协助 进行 案件 调查 ， 对 犯罪 现场 进行 分 析 与 证 据 收集 ， 进 而 对 重建 犯罪 场景 ， 这 为 法 律 执 法 提 
供 了 强大 的 技术 支持 ， 有 助 于 提高 司法 系统 的 效率 ， 促 进 公 共 安 全 ， 增 加 社会 安全 感 。 

本 文 研究 仍 有 局 限 性 ， 在 两 个 方面 有 潜在 的 改进 空间 : (1) 扩大 场景 的 种 类 和 知识 图 谱 的 规 
模 一 定 可 以 让 框架 更 加 通用 ， 履 盖 更 多 实际 情景 。(2) 将 更 先进 的 决策 方法 集成 到 从 知识 图 查询 
到 最 终 分 类 结果 的 过 程 中 可 以 增强 框架 的 可 解释 性 。 
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Table 2: Spatial Scene Classification Framework Classification Effects 
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